Hierarchical Continuous Diffusion Language Models
层次连续扩散语言模型
🧭 连续扩散语言模型 · 离散连续耦合去噪
University of Illinois Urbana-Champaign · Amazon.com, Inc.
HC-DLM 将离散 token 生成与连续潜变量去噪耦合，在 Sudoku/Countdown/LM1B 上超过匹配规模扩散基线
📌 工作参考价值（4 点）
- 面向需要全局约束或双向推理的文本生成任务（如广告文案、商品标题、搜索 query 改写、推荐理由），可考虑扩散式生成替代自回归，便于多步修改并满足关键词、违禁词、风格等多约束。
- 可借鉴 HC-DLM 的“离散 token 读出并反馈为脚手架”机制：在生成式推荐中使用连续向量表示全局用户意图/会话状态，每步读出候选 item 或 Semantic ID 后反馈调整潜变量，保持序列内依赖，避免并行解码时 token 独立采样的问题。
- 训练目标基于 token 似然的变分下界，把离散生成目标与连续去噪过程对齐，比将连续上下文简单附加到离散链更稳定；实现时可在每步去噪后做 token readout 作为下一步条件，降低训练与推理不一致。
- 注意扩散模型多步去噪带来的推理延迟，适合离线批量生成或对延迟不敏感的约束复杂规划场景（如选品组合、活动文案库生成），不适合超低延迟在线实时推荐。